#training stability

4 篇

Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors

学习转向，转向以见：用可训练向量揭示RLVR在LLM中的几何结构

🧭 RLVR 激活几何与训练稳定化

USTC · Tencent Hunyuan · BUPT

发现RLVR有效控制方向位于激活主子空间低方差补集，并提出Alpha-Stabler稳定训练提升RL增益

📌 工作参考价值（4 点）

RLVR 微调 LLM（如电商搜索/推荐中的 Agent 策略模型）时，可监控激活的主子空间入侵程度来预警训练崩溃，提前止损，节省算力。
在反向传播中移除激活梯度在主子空间的分量、保留低方差补集分量，可作为通用训练稳定化 trick，与现有 RLHF/RLVR 流程兼容，尤其适合长步训练。
低维有效流形存在但不可无限压缩，提示在低秩适配（LoRA）或资源受限场景下，需平衡干预维度与输入依赖表达性；对在线持续微调有参考价值。
跨任务几何对齐与能力迁移相关，可用于评估不同业务任务（查询改写、推荐策略、Agent 决策）之间的迁移潜力，指导多任务训练设计。

Training | 2026-09-27 | HF Daily | score 7/10

Distributional Matching for Vector Quantization: A Unified Theoretical and Empirical Framework

向量量化的分布匹配统一框架

🧭 生成式推荐 · 向量量化优化

University of Toronto · The Hong Kong University of Science and Technology · Boston College · Lehigh University · Southern University of Science and Technology

通过分布对齐统一解决向量量化中的训练不稳定和码本坍塌

📌 工作参考价值（3 点）

可将提出的分布匹配正则化（Wasserstein 或 MMD 损失）直接加入向量量化训练，解决 Semantic ID 生成中常见的码本利用率低问题。
闭式近似（高斯假设下的 Wasserstein 距离）计算高效，适合在线推荐模型的训练管道集成。
框架提供诊断现有 VQ 方法失效的统一视角，可从分布对齐角度改进量化过程的稳定性和码本利用率。

GenRec | 2026-07-17 | cs.CV | score 6/10

vector quantization codebook collapse distribution matching Wasserstein distance training stability

Rescaling MLM-Head for Neural Sparse Retrieval

重新缩放MLM-Head以实现神经稀疏检索

🧭 神经稀疏检索 · MLM-head尺度校正

Korea University · Independent

发现SPLADE训练中MLM-head尺度不匹配导致训练崩溃，提出初始化时简单缩放修正，稳定训练并提升大骨干检索性能

📌 工作参考价值（4 点）

在电商搜索或推荐系统的召回阶段，若使用SPLADE类稀疏检索模型，替换更强预训练骨干时出现训练不稳定，可检查MLM-head的L2范数，并在初始化时进行尺度缩放（如除以范数均值），零成本、不改架构，即可恢复稳定训练。
该发现提示：对于依赖预训练MLM-head输出构造稀疏表示的模型，模型升级时不能只看编码器能力，还要注意输出头的尺度校准；类似问题可能存在于其他用MLM-head logits构建匹配分数的检索或排序模型中。
广告搜索场景中，稀疏词项表示能提供可解释的召回结果，此技巧可帮助团队更放心地将现代预训练模型（如ModernBERT）应用于生产级稀疏检索，提升召回率而无需担心训练崩溃。
在Agent系统中若用稀疏检索作为记忆或知识召回模块，更换更强的语言模型时，推荐先检查并校正MLM-head尺度，避免对比训练不稳定导致性能下降。

RecSys | 2026-06-17 | cs.IR | score 7/10

Learned Sparse Retrieval SPLADE MLM-head rescaling training stability ModernBERT

TPMM-DPO: Trajectory-aware Preference-guided Model Merging for Iterative Direct Preference Optimization

TPMM-DPO：轨迹感知偏好引导的模型融合用于迭代直接偏好优化

🧭 迭代 DPO 训练稳定性优化

Guangxi University

提出轨迹感知模型融合方法，用学习到的融合权重整合迭代 DPO 过程中的历史模型，构建更稳定的参考模型，有效抑制噪声累积和性能退化。

📌 工作参考价值（4 点）

迭代偏好对齐的稳定训练：在电商对话、推荐理由生成等用到迭代 DPO 的场景，直接用上一轮模型作为参考可能引入噪声累积。可借鉴 TPMM-DPO，保留历史模型轨迹，通过可学习融合权重动态构建参考模型，提升训练稳健性。
模型融合权重学习：相比简单平均，学习到的融合权重能更好地抑制噪声，可应用于其他需要集成多代策略模型的场景（如 Agent 多轮自我改进）。
偏好数据抗噪：当偏好标注存在噪声（如人工标注不一致、自动收集的反馈），该方法能减轻过拟合和性能波动，适合电商 UGC 环境下的大规模偏好数据训练。
工程实现简单：融合模块即插即用，一般是在线合并模型参数，无需额外训练奖励模型，可直接插入现有 DPO pipeline。

Training | 2026-05-22 | cs.IR | score 7/10

DPO model merging iterative alignment training stability trajectory noise robustness